Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.

Multilingual BERT (mBERT) has demonstrated considerable cross-lingual syntactic ability, whereby it enables effective zero-shot cross-lingual transfer of syntactic knowledge. The transfer is more successful between some languages, but it is not well understood what leads to this variation and whether it fairly reflects difference between languages. In this work, we investigate the distributions of grammatical relations induced from mBERT in the context of 24 typologically different languages. We demonstrate that the distance between the distributions of different languages is highly consistent with the syntactic difference in terms of linguistic formalisms. Such difference learnt via self-supervision plays a crucial role in the zero-shot transfer performance and can be predicted by variation in morphosyntactic properties between languages. These results suggest that mBERT properly encodes languages in a way consistent with linguistic diversity and provide insights into the mechanism of cross-lingual transfer.

Pedestrian detection in the wild remains a challenging problem especially for scenes containing serious occlusion. In this paper, we propose a novel feature learning method in the deep learning framework, referred to as Feature Calibration Network (FC-Net), to adaptively detect pedestrians under various occlusions. FC-Net is based on the observation that the visible parts of pedestrians are selective and decisive for detection, and is implemented as a self-paced feature learning framework with a self-activation (SA) module and a feature calibration (FC) module. In a new self-activated manner, FC-Net learns features which highlight the visible parts and suppress the occluded parts of pedestrians. The SA module estimates pedestrian activation maps by reusing classifier weights, without any additional parameter involved, therefore resulting in an extremely parsimony model to reinforce the semantics of features, while the FC module calibrates the convolutional features for adaptive pedestrian representation in both pixel-wise and region-based ways. Experiments on CityPersons and Caltech datasets demonstrate that FC-Net improves detection performance on occluded pedestrians up to 10% while maintaining excellent performance on non-occluded instances.

3D场景由大量背景点主导，这对于主要需要集中在前景对象的检测任务是多余的。在本文中，我们分析了现有的稀疏3D CNN的主要组成部分，发现3D CNN忽略了数据的冗余，并在下降过程中进一步扩大了数据，这带来了大量的多余和不必要的计算间开销。受到这一点的启发，我们提出了一个名为“空间修剪稀疏卷积”（SPS-CONV）的新型卷积操作员，其中包括两个变体，空间修剪的Submanifold稀疏卷积（SPSS-CONV）和空间修剪的常规稀疏卷积（SPRS-CONV），包括这是基于动态确定冗余降低关键领域的想法。我们验证该幅度可以作为确定摆脱基于学习方法的额外计算的关键领域的重要提示。提出的模块可以轻松地将其纳入现有的稀疏3D CNN中，而无需额外的架构修改。关于Kitti，Waymo和Nuscenes数据集的广泛实验表明，我们的方法可以在不损害性能的情况下实现超过50％的GFLOPS。

隐式神经表示显示了3D场景重建的有希望的潜力。最近的工作将其应用于自主3D重建，通过学习信息获得图路径计划的信息增益。有效，信息增益的计算很昂贵，并且与使用体积表示相比，使用隐式表示为3D点进行碰撞检查要慢得多。在本文中，我们建议1）利用神经网络作为信息增益场的隐式函数近似器，以及2）将隐式细粒表示与粗量表示形式结合起来，以提高效率。随着效率的提高，我们提出了基于基于图的计划者的新型信息路径计划。我们的方法表明，与具有隐性和明确表示的自主重建相比，重建质量和计划效率的显着提高。我们将该方法部署在真正的无人机上，结果表明我们的方法可以计划信息意见并以高质量重建场景。

对抗性训练（AT）通常被认为是防御对抗性例子的最有效的方法之一，可能会在很大程度上损害标准绩效，因此对工业规模的生产和应用的有用性有限。令人惊讶的是，这种现象在自然语言处理（NLP）任务中完全相反，在该任务中甚至可以从中受益。我们注意到NLP任务中AT的优点可能来自离散和符号输入空间。为了借用NLP风格的优势，我们提出了离散的对抗训练（DAT）。 DAT利用VQGAN改革图像数据以离散类似文本的输入，即视觉单词。然后，它可以最大程度地减少这种离散图像的最大风险，并具有符号对抗扰动。我们从分布的角度进一步提供了解释，以证明DAT的有效性。作为增强视觉表示的插件技术，DAT可以在多个任务上取得重大改进，包括图像分类，对象检测和自我监督学习。尤其是，该模型通过胶带自动编码（MAE）预先训练并由我们的DAT进行微调，而没有额外的数据可以在Imagenet-C上获得31.40 MCE，并且在Stylized-Imagenet上进行了32.77％的TOP-1准确性，建立了新的状态 - 艺术。该代码将在https://github.com/alibaba/easyrobust上找到。

毫米波（mmwave）雷达在不利的环境中起作用，例如在烟，雨，雪，照明等不良环境中起作用。先前的工作探索了从嘈杂且稀疏的MMWAVE雷达信号中重建3D骨骼或网格的可能性。但是，目前尚不清楚我们如何准确地从跨场景的MMWave信号重建3D主体，以及与摄像机相比的性能，当单独使用MMWave雷达或将它们与摄像机结合时，这是需要考虑的重要方面。为了回答这些问题，首先设计并构建了多个传感器，以收集大规模数据集。该数据集由在不同场景中的同步和校准的MMWave雷达点云和RGB（D）图像组成，以及在场景中人类的骨架/网格注释。使用此数据集，我们使用来自不同传感器的输入来训练最先进的方法，并在各种情况下对其进行测试。结果表明，1）尽管生成点云的噪音和稀疏性，MMWave雷达可以比RGB摄像机获得更好的重建精度，但比深度摄像头还差； 2）MMWave雷达的重建受不利天气条件的影响，而RGB（D）摄像机受到严重影响。此外，对数据集的分析和结果对改善MMWave雷达重建的重建以及来自不同传感器的信号的组合的洞察力。

语言的演变遵循逐渐变化的规则。语法，词汇和词汇语义转移会随着时间的推移而发生，导致了直觉的语言差距。因此，用不同的时代语言编写了大量文本，这为自然语言处理任务（例如单词分割和机器翻译）造成了障碍。尽管中文历史悠久，但以前的中国自然语言处理研究主要集中在特定时代的任务上。因此，我们为中文单词分割（CWS）提出了一个跨时代的学习框架，该框架使用开关记忆（SM）模块来合并ERA特定的语言知识。来自不同时代的四个语料库的实验表明，每个语料库的性能都显着提高。进一步的分析还表明，SM可以有效地将时代的知识整合到神经网络中。

本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。

尽管在情感分析方面取得了巨大的成功，但现有的神经模型在隐式情感分析中挣扎。这可能是由于它们可能会锁定虚假的相关性（例如，“捷径”，例如，仅关注明确的情感词），从而破坏了学习模型的有效性和鲁棒性。在这项工作中，我们提出了一种使用仪器变量（ISAIV）的因果干预模型，用于隐式情感分析。我们首先从因果角度审查情感分析，并分析此任务中存在的混杂因素。然后，我们引入了一个仪器变量，以消除混杂的因果效应，从而在句子和情感之间提取纯粹的因果效应。我们将所提出的ISAIV模型与几个强大的基线进行比较，同时是一般的隐式情感分析和基于方面的隐式情感分析任务。结果表明我们模型的巨大优势以及隐性情感推理的功效。